Ramesses IV là con trai thứ năm của Ramesses III. Mẹ ông được cho là hoàng hậu Tyti; là một người chị/em gái của Ramesses III[2][3]. Bà được sắc phong các danh hiệu: "Con gái của Vua", "Chị em gái của Vua", "Vợ của Vua" và "Mẹ của Vua". Tyti cũng có thể là mẹ của 3 vị hoàng tử khác là Khaemwaset, Amun-her-khepeshef và Meryamen. Ramesses IV còn là anh khác mẹ với Ramesses VI[4].

Người vợ duy nhất được biết đến của ông là hoàng hậu Duatentopet, cũng là mẹ đẻ của Ramesses V. Thân thế của hoàng hậu cũng không rõ ràng. Một số thuyết cho rằng bà là con gái của Ramesses III, tức là chị/em cùng cha với Ramesses IV.